どこが変わり者であったのだろうか。それは武士でありながら、欲しげもなく、その身分を捨て、漢詩人として、その一生を終えたことにある

丈山の家系は、徳川氏に仕える安城譜代の家臣であった。先祖石川信貞の代に、安祥城主松平長親に従い、祖々父信治は松平清康に仕えて和泉郷（現和泉町）を所領し祖父正信は松平広忠に、父信定は徳川家康に仕えてきた典型的な三河武士の一族である。
　父信定没後、１６歳の丈山は徳川家康に仕える。３３歳の時、大阪夏の陣で、手柄を立てながら、軍令にそむいたことから、論功を受けることができず、それを契機に退官してしまう。そして３５歳になってから、親友林羅山のすすめで、藤原惺かの門人になり儒学を学び、漢詩人としての第一歩をふみ出すことになる

　４１歳から５３歳まで広島に住み５４歳の時、京都に帰り、の睡竹堂に住まう。この住居の書斎であったのが「学甫堂」である。ここから文人隠者としての生活が始まる。
　丈山５９歳、京都一乗寺の「詩仙堂」に移り、９０歳で没するまで、約３０年間ここに住まう。詩仙堂の庭園は、名庭として有名である。詩仙堂というのは、堂内の一室に中国の詩人三十六人の詩と小像をえがいて掲げたことによって名付けられたという。